OPRD: On-Policy Representation Distillation
OPRD：在策略表征蒸馏
🧭 策略蒸馏 · 表征对齐
Zhejiang University · Ant Group
将在策略蒸馏从输出空间提升到隐藏状态空间，消除采样方差并提供更丰富的结构化监督信号
📌 工作参考价值（4 点）
- 用表征蒸馏替代输出空间KL：在训练小模型（如电商客服、推荐解释）时，可直接对齐学生与教师中间层隐藏状态，绕过庞大的词表投影，消除采样方差，使训练更稳定，尤其适用于大词表（如中文150k+）场景。
- 内存与速度优化：OPRD loss在LM head之前计算，避免存储完整词表分数矩阵，训练速度快1.44倍，内存减少54%，适合资源受限的线上微调或频繁迭代。
- 层间对齐可迁移到多模态或推荐模型：方法不限于文本，可扩展到多模态表征蒸馏（如视觉-语言对齐），或用于推荐系统中用户/物品编码器的迁移学习，将复杂大模型知识压缩到轻量级线上模型。
- 提供确定性、逐层结构监督：相比输出蒸馏的稀疏奖励，表征蒸馏给出逐位置、逐层的稠密信号，利于捕捉细粒度语义，对于对话Agent的多轮一致性、推荐解释生成等任务可能更有效。